AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
AdviSD：通过定向多轮自蒸馏训练前沿 LLM 的顾问模型
🧭 小型 advisor 训练 · 定向自蒸馏 + GRPO ★ 深度解读
Google · University of Southern California
用配对评分筛选哪些反思修正值得监督，训练小型 advisor 通过自然语言建议提升冻结 Gemini/Claude 的工具调用与多轮 agent 表现
📌 工作参考价值（4 点）
- 对调用黑盒 LLM API 的电商/Agent 场景，可以用小模型做外部 advisor，不必微调 frontier 模型；AdviSD 的配对评分过滤不依赖 executor logits 或额外 rollout，工程成本低。
- 训练时把“修正生成”和“选择哪些修正用于监督”解耦：用 pre-update advisor 对同一 executor 回复计算 with/without advice 的平均 log-prob 差，只保留差值超过阈值的决策；不要学所有反思修正，尤其避免学对 executor 行为无影响的“正确但无用”建议。
- 对原始 abstention 决策要单独 bypass：因为无 advice 时 with/without 上下文相同、score 差为 0，容易被过滤掉；保留被 reflection 标记的 missed advice 可提升 0.6–1.7 点。
- 做消融时加 matched-count random control，能区分“少学一点”和“选得对”；阈值可以用 donor advice（其他任务 advice）在 pilot 上校准并固定。